Castelo Branco sinh ra trong một gia đình giàu có ở đông bắc Brasil. Cha của ông, Cândido Borges Castelo Branco, là một tướng. Mẹ của ông, Antonieta Alencar Castelo Branco, đến từ một gia đình trí thức (bao gồm nhà văn José de Alencar).

Ông kết hôn với Argentina Vianna, và có hai con, Nieta và Paulo. [